Approche avec les équations de Bellman

5. Équation de Bellman pour la fonction de valeur d'action

De manière similaire à ce que nous avons fait pour déterminer l'équation de Bellman, on peut raisonner sur la fonction de valeur d'action:

${q_\pi }\left( {s,a} \right)$$\quad$$={E_\pi }\left[ {{G_t}|{S_t} = s,{A_t} = a} \right]$

$\qquad\qquad= {E_\pi }\left[ {{r_t} + \gamma {G_{t + 1}}|{S_t} = s,{A_t} = a} \right]$

$\qquad\qquad={E_\pi }\left[ {{r_t}|{S_t} = s,{A_t} = a} \right] + \gamma {E_\pi }\left[ {{G_{t + 1}}|{S_t} = s,{A_t} = a} \right]$

Le premier terme:

${E_\pi }\left[ {{r_t}|{S_t} = s,{A_t} = a} \right]=\sum\limits_a {\pi \left( {a|s} \right)E\left[ {{r_t}|{S_t} = s,{A_t} = a} \right]}$

$\quad\quad\quad\quad\quad\quad\quad\quad\quad=E\left[ {{r_t}|{S_t} = s} \right]$

$\quad\quad\quad\quad\quad\quad\quad\quad\quad=\sum\limits_{s',r} {p\left( {s',r|s,a} \right)} \cdot r$

Le deuxième terme:

${E_\pi }\left[ {{G_{t + 1}}|{S_t} = s,{A_t} = a} \right]={E_\pi }\left[ {{G_{t + 1}}|{S_{t + 1}} = s',{A_{t + 1}} = a} \right]\sum\limits_a {\pi \left( {a|s} \right)} \sum\limits_{s',r} {p\left( {s',r|s,a} \right)}$

$\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad={E_\pi }\left[ {{G_{t + 1}}|{S_{t + 1}} = s'} \right]\sum\limits_{s',r} {p\left( {s',r|s,a} \right)}$

On en déduit l'équation:

${q_\pi }\left( {s,a} \right) = \sum\limits_{s',r} {p\left( {s',r|s,a} \right)} \left[ {r + \gamma {E_\pi }\left[ {{G_{t + 1}}|{S_{t + 1}} = s'} \right]} \right]$

Et donc l'équation de la fonction valeur d'action de Bellman:

$${Q_\pi }\left( {s,a} \right)={q_\pi }\left( {s,a} \right) = \sum\limits_{s',r} {p\left( {s',r|s,a} \right)} \left[ {r + \gamma {V_\pi }\left( {s'} \right)} \right]$$